AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning
AutoSFT：自动化监督微调数据研究的多智能体系统
🧭 多智能体协作优化 SFT 数据
Tsinghua University · Beijing University of Posts and Telecommunications · ModelBest Inc. · University of Illinois Urbana-Champaign · The Chinese University of Hong Kong
多智能体系统 AutoSFT 将执行与分析分离，覆盖比例调整、剪枝、修复、替换、合成等数据动作，显著提升 IFEval/IFBench/MBPP+
📌 工作参考价值（4 点）
- 自动化数据管道不要只做单一动作（如仅选样本），可定义丰富的数据动作空间：比例调整、去噪/剪枝、标签修复、样本替换、合成。业务中可把数据迭代从“选数据”升级为“修数据+造数据”。
- 多智能体架构中，将执行与分析分离：executor 只保留精简结果，避免单 agent 上下文被执行输出淹没。电商/推荐 Agent 系统可借鉴，降低长流程中的上下文丢失。
- 分析子代理从多个独立角度（如类别平衡、质量、难度）并行提案，再汇总，比单 agent 全局判断更有效。可用于推荐数据质量审计或 query 优化。
- 公平对比：固定模型/训练器/预算，每轮从 base model 重训，隔离每个组件贡献。评估数据策略时值得采用，避免增量训练的归因偏差。